#Adaptive Granularity - AI Papers Daily

VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs

VisionWeave：为多模态大模型原生编织弹性视觉表征

🧭 多模态 LLM 视觉 token 弹性压缩

University of Science and Technology of China · Alibaba Token Hub, Alibaba Group · The Chinese University of Hong Kong · Zhejiang University

提出 VisionWeave，通过 gated spatial pooler 与 granularity router 实现内容自适应视觉 token 压缩，节省 43% token 保持 98.9% 性能

📌 工作参考价值（4 点）

多模态商品/广告素材理解中，图片与视频区域信息密度不均，可借鉴 VisionWeave 的内容自适应 token 分配：对背景/空白用 coarse-grained 池化，关键商品区域保留 fine-grained，降低推理成本同时保持识别精度。
采用 gated spatial pooler + granularity router 两阶段设计，让模型学习“哪里需要细看、哪里可以粗看”，共享 MRoPE 坐标无需改动位置编码，方便集成到现有视觉 Backbone 和 Serving 框架。
使用 self-distillation 训练弹性表示能力，不依赖人工标注 token 重要性，适合业务数据标签稀疏；虽然训练成本高（30K A100 GPU-hours），但推理端吞吐提升 2.3x、TTFT/TPOT 大降，对在线多模态推荐/Agent 服务有直接价值。
工程上可复用开源的 SGLang 集成，注意变长 token 输入对批处理与 KV cache 管理的影响，适配电商多图/视频场景可显著提升 GPU 利用率与响应速度。

Multimodal | 2026-10-05 | HF Daily | score 7/10

多模态 RAG 的自适应粒度证据压缩框架

🧭 多模态 RAG 证据压缩与迭代检索

POSTECH

CANOPY 用层级节点评分与父相对细化选择多粒度证据区域，结合 critic 触发补充检索，压缩 token 同时保持准确率。

📌 工作参考价值（4 点）

在电商多模态知识库/商品问答场景，对检索到的商品详情图、表格、视频片段构建层级表示，用微调的小型节点编码器做 query 相关打分，替代 LLM 逐节点判断，压缩成本低且可并行。
父相对细化：比较父节点与子节点得分的相对差异来选择保留区域，可迁移到商品详情页中“整块描述 vs 局部属性”的自适应裁剪，避免统一细粒度丢失关键上下文。
critic 触发补充检索对多跳问题（如跨商品属性对比）很有价值：当现有证据不足时，主动发起针对性二次检索，可提升复杂 query 的答案质量；工程上可用轻量规则或小模型实现。
压缩减少 reader 输入 token 14.2–27.7% 且准确率不受损的结论，支持在 RAG 服务链路中加入后置压缩模块，降低 LLM 输入成本，适合线上成本敏感场景。

RAG | 2026-10-01 | cs.IR | score 7/10